Thời trẻ, Hạ Tề làm quan trong quận, giữ chức Diệm Trưởng. Có viên quan trong huyện là Tư Tòng càn rỡ làm việc ác, Hạ Tề muốn bắt trị tội hắn, quan Chủ bạ can ngăn không nên, vì người này có nhiều vây cánh với người Sơn Việt.

Hạ Tề không nghe, cứ đi chém Tòng. Phe đảng của Tòng bèn tụ họp với nhau, có đến hơn nghìn người, đem quân đánh huyện. Hạ Tề đem quan dân mở cửa thành ra đánh, đại phá bọn chúng, làm kinh động cả vùng người Sơn Việt. Sau đó dân các huyện Thái Mạt, Phong Phố nổi lên chống lại, ông chuyển làm huyện trưởng Thái Mạt, giết kẻ ác, giúp người tốt, một tháng thì dẹp xong.